Adversarial attacks hamper the decision-making ability of neural networks by perturbing the input signal. The addition of calculated small distortion to images, for instance, can deceive a well-trained image classification network. In this work, we propose a novel attack technique called Sparse Adversarial and Interpretable Attack Framework (SAIF). Specifically, we design imperceptible attacks that contain low-magnitude perturbations at a small number of pixels and leverage these sparse attacks to reveal the vulnerability of classifiers. We use the Frank-Wolfe (conditional gradient) algorithm to simultaneously optimize the attack perturbations for bounded magnitude and sparsity with $O(1/\sqrt{T})$ convergence. Empirical results show that SAIF computes highly imperceptible and interpretable adversarial examples, and outperforms state-of-the-art sparse attack methods on the ImageNet dataset.
translated by 谷歌翻译
持续学习的现有工作（CL）的重点是减轻灾难性遗忘，即学习新任务时过去任务的模型绩效恶化。但是，CL系统的训练效率不足，这限制了CL系统在资源有限的方案下的现实应用。在这项工作中，我们提出了一个名为“稀疏持续学习”（SPARCL）的新颖框架，这是第一个利用稀疏性以使边缘设备上具有成本效益的持续学习的研究。 SPARCL通过三个方面的协同作用来实现训练加速度和准确性保护：体重稀疏性，数据效率和梯度稀疏性。具体而言，我们建议在整个CL过程中学习一个稀疏网络，动态数据删除（DDR），以删除信息较少的培训数据和动态梯度掩盖（DGM），以稀疏梯度更新。他们每个人不仅提高了效率，而且进一步减轻了灾难性的遗忘。 SPARCL始终提高现有最新CL方法（SOTA）CL方法的训练效率最多减少了训练失败，而且令人惊讶的是，SOTA的准确性最多最多提高了1.7％。 SPARCL还优于通过将SOTA稀疏训练方法适应CL设置的效率和准确性获得的竞争基线。我们还评估了SPARCL在真实手机上的有效性，进一步表明了我们方法的实际潜力。
translated by 谷歌翻译
临床试验是药物开发的重要一步，通常是昂贵且耗时的。在计算机试验中，是通过模拟和建模作为替代传统临床试验的临床试验进行数字进行的。在计算机试验中支持AI可以通过创建虚拟队列作为控件来增加案例组的规模。此外，它还可以实现试验设计的自动化和优化，并预测试验成功率。本文在三个主要主题下系统地回顾了论文：临床模拟，个性化预测建模和计算机辅助试验设计。我们专注于如何在这些应用中应用机器学习（ML）。特别是，我们介绍了机器学习问题的公式和每个任务的可用数据源。最后，我们讨论了现实世界中的Silico试验中AI的挑战和机遇。
translated by 谷歌翻译
临床试验对于药物开发至关重要，但非常昂贵且耗时。在设计临床试验时，研究类似的历史试验是有益的。但是，冗长的试用文件和缺乏标记的数据使试验相似性搜索变得困难。我们提出了一种零拍的临床试验检索方法试验2VEC，该方法通过自学知识学习而无需注释类似的临床试验。具体而言，试验文件的元结构（例如，标题，资格标准，目标疾病）以及临床知识（例如，UMLS知识库https://www.nlm.nih.gov/research/umls/inmls/index.html）被杠杆化以自动生成对比样品。此外，Trial2VEC编码考虑元结构的试验文件，从而产生紧凑的嵌入，从而从整个文档中汇总了多相关信息。我们表明，我们的方法通过可视化产生了可解释的医学解释的嵌入，并且在试验检索的精确/召回率上的最佳基线比最佳基线得到15％的改善，这是在我们标记的1600个试验对中评估的。此外，我们证明预先训练的嵌入在240K试验中受益于下游试验结果预测任务。
translated by 谷歌翻译
表格数据（或表格）是机器学习（ML）中最广泛使用的数据格式。但是，ML模型通常假设表结构在训练和测试中保持固定。在ML建模之前，需要进行大量数据清洁以将不同的表与不同的列合并。这种预处理通常会造成大量的数据浪费（例如，删除无与伦比的列和样品）。如何从具有部分重叠列的多个表中学习ML模型？随着更多的列随着时间的推移可用，如何逐步更新ML模型？我们可以利用在多个不同表上预处理的模型吗？如何训练可以在看不见的桌子上预测的ML模型？为了回答所有这些问题，我们建议通过为表引入可转移的表变压器（Transtab）来放松固定桌结构。 transtab的目的是将每个样品（表中的一行）转换为可概括的嵌入向量，然后将堆叠的变压器应用于特征编码。一种方法论的洞察力是将列描述和表单元组合为门控变压器模型的原始输入。另一个见解是引入受监督和自我监督的预告片以提高模型性能。我们将transtab与多种基线方法进行比较，以进行多种基线方法和五个肿瘤学临床试验数据集进行比较。总体而言，transtab分别排名1.00、1.00、1.78，分别是有监督学习，功能增量学习和转移学习方案的12种方法；拟议的预告片会导致在监督学习中平均达到2.3％的AUC提升。
translated by 谷歌翻译
持续学习旨在使单个模型能够学习一系列任务，而不会造成灾难性的遗忘。表现最好的方法通常需要排练缓冲区来存储过去的原始示例以进行经验重播，但是，由于隐私和内存约束，这会限制其实际价值。在这项工作中，我们提出了一个简单而有效的框架，即DualPrompt，该框架学习了一组称为提示的参数，以正确指示预先训练的模型，以依次学习到达的任务，而不会缓冲过去的示例。 DualPrompt提出了一种新颖的方法，可以将互补提示附加到预训练的主链上，然后将目标提出为学习任务不变和特定于任务的“指令”。通过广泛的实验验证，双启示始终在具有挑战性的课堂开发环境下始终设置最先进的表现。尤其是，双启示的表现优于最近的高级持续学习方法，其缓冲尺寸相对较大。我们还引入了一个更具挑战性的基准Split Imagenet-R，以帮助概括无连续的持续学习研究。源代码可在https://github.com/google-research/l2p上找到。
translated by 谷歌翻译
在车辆场景中的毫米波链路的光束选择是一个具有挑战性的问题，因为所有候选光束对之间的详尽搜索都不能在短接触时间内被确认完成。我们通过利用像LIDAR，相机图像和GPS等传感器收集的多模级数据来解决这一问题。我们提出了可以在本地以及移动边缘计算中心（MEC）本地执行的个人方式和分布式融合的深度学习（F-DL）架构，并研究相关权衡。我们还制定和解决优化问题，以考虑实际的光束搜索，MEC处理和传感器到MEC数据传送延迟开销，用于确定上述F-DL架构的输出尺寸。在公开的合成和本土现实世界数据集上进行的广泛评估结果分别在古典RF光束上释放出95％和96％的束选择速度提高。在预测前10个最佳光束对中，F-DL还优于最先进的技术20-22％。
translated by 谷歌翻译
持续学习背后的主流范例一直在使模型参数调整到非静止数据分布，灾难性遗忘是中央挑战。典型方法在测试时间依赖排练缓冲区或已知的任务标识，以检索学到的知识和地址遗忘，而这项工作呈现了一个新的范例，用于持续学习，旨在训练更加简洁的内存系统而不在测试时间访问任务标识。我们的方法学会动态提示（L2P）预先训练的模型，以在不同的任务转换下顺序地学习任务。在我们提出的框架中，提示是小型可学习参数，这些参数在内存空间中保持。目标是优化提示，以指示模型预测并明确地管理任务不变和任务特定知识，同时保持模型可塑性。我们在流行的图像分类基准下进行全面的实验，具有不同挑战的持续学习环境，其中L2P始终如一地优于现有最先进的方法。令人惊讶的是，即使没有排练缓冲区，L2P即使没有排练缓冲，L2P也能实现竞争力的结果，并直接适用于具有挑战性的任务不可行的持续学习。源代码在https://github.com/google-Research/l2p中获得。
translated by 谷歌翻译
2021-10-02
在医学中，生存分析研究了感兴趣的事件的持续时间，例如死亡率。一个主要挑战是如何处理多个竞争事件（例如，多种疾病诊断）。在这项工作中，我们提出了一个基于变压器的模型，该模型不会为基础生存分布做出假设，并且能够处理竞争事件，即生存。我们在多事件场景中的观测环境中解释了隐式\ emph {混杂因素}，这会导致选择偏见，因为预测的生存概率受到无关因素的影响。为了充分利用生存数据从头开始训练变压器，为多任务学习设计了多个辅助任务。因此，该模型从所有这些任务中学习了强有力的共享表示形式，进而为更好的生存分析提供服务。我们进一步演示了如何通过可解释的Survtrace的可解释的注意力机制来检查协变量和重要性，这足以增强临床试验设计和新的治疗开发。与470K患者的代理，支持和SEER数据进行的实验验证了我们方法的全方位优势。
translated by 谷歌翻译
关于时间知识图（TKGQA）的问题回答最近发现兴趣越来越大。 TKGQA需要时间推理技术来从时间知识库中提取相关信息。唯一现有的TKGQA数据集，即cronquestions，由基于固定时间段内的事实组成，其中跨越同一时期的时间知识图（TKG）可以完全使用用于答案推断，允许使用TKGQA模型。即将根据过去事实回答问题的未来知识。但是，在现实世界的情况下，鉴于到目前为止的知识也很常见，我们希望TKGQA系统回答询问未来的问题。随着人类不断寻求未来计划，建立用于回答此类预测问题的TKGQA系统很重要。然而，这在先前的研究中仍未得到探索。在本文中，我们提出了一个新的任务：关于时间知识图的预测问题。我们还为此任务提出了一个大规模的TKGQA基准数据集，即预测。它包括三种类型的问题，即实体预测，不是和事实推理问题。对于我们数据集中的每个预测问题，QA模型只能在给定问题中注释的时间戳以进行答案推理之前访问TKG信息。我们发现，最先进的TKGQA方法在预测问题上的表现较差，并且他们无法回答不是问题和事实推理问题。为此，我们提出了一种TKGQA模型预测，该模型采用TKG预测模块进行未来推断，以回答所有三种类型的问题。实验结果表明，预测到实体预测问题的最新方法优于最近的TKGQA方法，并且在回答其他两种类型的问题方面也显示出很大的有效性。
translated by 谷歌翻译